推荐算法---peason相关系数

简介:
#!/usr/local/bin/python2.7
# encoding: utf-8


import sys
import os

from argparse import ArgumentParser
from argparse import RawDescriptionHelpFormatter

from math import sqrt

import moivescore  # import module defined by yourself 
from rope.base.prefs import Prefs
from bokeh.models.tools import Scroll



# 利用欧几里德距离评价相关性
def sim_distance(prefs,p1,p2):
    si = {}  # mark the moive name that both appeared  p1 and p2
    for item in prefs[p1]:
#         print(item)
        if item in prefs[p2]:
            si[item] = 1
#             print(si)
    
    if len(si)==0: return 0  #  have no same moive
    
    # 利用欧几里德距离评价相关性
    sum_of_squares = sum([pow(prefs[p1][item]-prefs[p2][item], 2) for item in prefs[p1] if item in prefs[p2] ])
    
#     print(sum_of_squares)
    print(1/(1+sqrt(sum_of_squares)))
    
    return 1/(1+sqrt(sum_of_squares))
   
# 利用皮尔逊相关系数进行评价,可以修正评分中的夸大分值    
def sim_pearson(prefs,p1,p2):
    si = {}
    for item in prefs[p1]:
        if item in prefs[p2]:
            si[item] = 1
            
    if len(si)==0: return 0
    
    n = len(si)
    # EX
    sum1 = sum(prefs[p1][item] for item in si)
    # EY
    sum2 = sum(prefs[p2][item] for item in si)
    
    # EX2
    sqsum1 = sum(pow(prefs[p1][item],2) for item in si)
    # EY2
    sqsum2 = sum(pow(prefs[p2][item],2) for item in si)
    
    #EXY
    psum = sum(prefs[p1][item]*prefs[p2][item] for item in si)
    
    #EXY-EX*EY
    num = psum-(sum1*sum2/n)
    
    den = sqrt((sqsum1-pow(sum1,2)/n)*(sqsum2-pow(sum2,2)/n))
    
    if den == 0: return 0
    
    r = num/den
#     print(r)
    return r

# print(moivescore.critics['Lisa Rose']) # key and value

# print(moivescore.critics['Lisa Rose']['Lady in the Water'])

# sim_distance(moivescore.critics, 'Lisa Rose', 'Gene Seymour')
# sim_distance(moivescore.critics, 'Lisa Rose', 'Michael Phillips')
# sim_distance(moivescore.critics, 'Lisa Rose', 'Claudia Puig')
# sim_distance(moivescore.critics, 'Lisa Rose', 'Mick LaSalle')
# sim_distance(moivescore.critics, 'Lisa Rose', 'Jack Matthews')
# sim_distance(moivescore.critics, 'Lisa Rose', 'Toby')
# sim_distance(moivescore.critics, 'Lisa Rose', 'xiaoYu')
print('--------------------pearson--------------------------------')
# sim_pearson(moivescore.critics, 'Lisa Rose', 'Gene Seymour')
# sim_pearson(moivescore.critics, 'Lisa Rose', 'Michael Phillips')
# sim_pearson(moivescore.critics, 'Lisa Rose', 'Claudia Puig')
# sim_pearson(moivescore.critics, 'Lisa Rose', 'Mick LaSalle')
# sim_pearson(moivescore.critics, 'Lisa Rose', 'Jack Matthews')
# sim_pearson(moivescore.critics, 'Lisa Rose', 'Toby')
# sim_pearson(moivescore.critics, 'Lisa Rose', 'xiaoYu')


# find the person who have the most likely taste with you
def topMatches(prefs,person,n=5,similarity=sim_pearson):
#     scores = [other for other in prefs if person!=other]
#     print(scores)
    scores = [(other,similarity(prefs,person,other)) for other in prefs if person!=other]
#     print(scores)
    scores.sort()
    scores.reverse()
    print(scores)
    print(scores[0:n])
    return scores[0:n] # return existing data from 0 to n
    
    
# topMatches(moivescore.critics, 'Lisa Rose', 1)

# use pearson to provide us a recommendation of the film
def getRecommendation(prefs,person,similarity=sim_pearson):
    totals={} # sum (similarity*score) all the movie which i havent see
    simSums={} # sum similarity of all the movie which i havent see
    for other in prefs:
        if other == person: continue
        sim = similarity(prefs,person,other)
        
        if sim<=0: continue
        
        for item in prefs[other]:
            # only estimate the movie this person never watched before, means he has no score on this movie
            if item not in prefs[person] or prefs[person][item]==0:
                totals.setdefault(item,0)
                # similarity*score
                totals[item]+=prefs[other][item]*sim
                
                simSums.setdefault(item,0)
                simSums[item]+=sim
                
                
    print(totals)
    print(simSums)
    
    # create a ranking list
    rankings = [(item,total/simSums[item]) for item,total in totals.items()]
    rankings.sort()
    rankings.reverse()
    print(rankings)
    return rankings
    
    
getRecommendation(moivescore.critics, 'Toby')
相关文章
|
3天前
|
机器学习/深度学习 算法 数据可视化
Matlab决策树、模糊C-均值聚类算法分析高校教师职称学历评分可视化
Matlab决策树、模糊C-均值聚类算法分析高校教师职称学历评分可视化
10 0
|
4天前
|
机器学习/深度学习 数据采集 SQL
R语言K-Means(K均值聚类)和层次聚类算法对微博用户特征数据研究
R语言K-Means(K均值聚类)和层次聚类算法对微博用户特征数据研究
10 0
ML之Spearman:Spearman相关系数(斯皮尔曼等级相关系数)的简介、案例应用之详细攻略
ML之Spearman:Spearman相关系数(斯皮尔曼等级相关系数)的简介、案例应用之详细攻略
ML之Spearman:Spearman相关系数(斯皮尔曼等级相关系数)的简介、案例应用之详细攻略
|
4天前
|
数据可视化 Python
R语言分析糖尿病数据:多元线性模型、MANOVA、决策树、典型判别分析、HE图、Box's M检验可视化
R语言分析糖尿病数据:多元线性模型、MANOVA、决策树、典型判别分析、HE图、Box's M检验可视化
12 0
|
8天前
|
前端开发 数据库
R语言基于Bootstrap的线性回归预测置信区间估计方法分析汽车制动距离|数据分享
R语言基于Bootstrap的线性回归预测置信区间估计方法分析汽车制动距离|数据分享
17 0
|
9天前
|
数据可视化 算法 数据挖掘
【视频】KMEANS均值聚类和层次聚类:R语言分析生活幸福指数可视化|数据分享(上)
【视频】KMEANS均值聚类和层次聚类:R语言分析生活幸福指数可视化|数据分享
11 1
|
9天前
|
数据可视化 算法 数据挖掘
【视频】KMEANS均值聚类和层次聚类:R语言分析生活幸福指数可视化|数据分享(下)
【视频】KMEANS均值聚类和层次聚类:R语言分析生活幸福指数可视化|数据分享
17 5
|
9天前
|
机器学习/深度学习 前端开发 自动驾驶
【视频】什么是Bootstrap自抽样及应用R语言线性回归预测置信区间实例|数据分享
【视频】什么是Bootstrap自抽样及应用R语言线性回归预测置信区间实例|数据分享
14 2
|
18天前
|
存储 人工智能 数据可视化
R语言中的多类别问题的绩效衡量:F1-score 和广义AUC
R语言中的多类别问题的绩效衡量:F1-score 和广义AUC
21 0
|
16天前
|
数据可视化
R语言ARMA GARCH COPULA模型拟合股票收益率时间序列和模拟可视化
R语言ARMA GARCH COPULA模型拟合股票收益率时间序列和模拟可视化
19 0
R语言ARMA GARCH COPULA模型拟合股票收益率时间序列和模拟可视化